Khương Hữu Dụng sinh trong một gia đình nghèo tại phố cổ Hội An, tỉnh Quảng Nam. Mẹ ông mất khi ông mới lên 3 tuổi.

Khi còn nhỏ, Khương Hữu Dụng học sơ đẳng tiểu học ở Hội An. Từ 1922 đến 1926, ông theo học trường Quốc học Huế. Ngày 17 tháng 3 năm 1926, ông có dịp gặp gỡ với Phan Bội Châu trong dịp cụ đến nói chuyện với học sinh Trường Quốc học Huế và chịu ảnh hưởng nhiều của nhà chí sĩ cách mạng này.[2]

Từ năm 1927, ông được bổ đi dạy ở Bình Định, sau đó đổi ra Ba Đồn, Quảng Bình và nhiều nơi khác. Vừa dạy học, ông vừa làm thơ đăng trên các báo khắp Trung, Nam, Bắc, đặc biệt lá báo Tiếng Dân, Phụ nữ tân văn (ở Sài Gòn) và Phụ nữ thời đàm (ở Hà Nội). Thời kỳ Mặt trận Dân chủ, ông làm thơ đăng nhiều trên các báo Thế giới mới... Ông làm thơ yêu nước đăng thường xuyên trên báo "Tiếng Dân" của Huỳnh Thúc Kháng từ năm 1927 đến 1935 và một số báo khác với bút danh Thế Nhu (do Phan Bội Châu đặt cho ông) và một số bút danh khác. Ông cũng dịch nhiều thơ Đường.